EAServe：面向多模态大模型的编码感知分离式服务
🧭 多模态 LLM 推理服务 · 分离式流水线优化
University of Georgia · Western Digital · University of Texas at Arlington
将多模态 LLM 的 Encode 阶段作为 EPD 流水线控制点，通过自适应微批处理、部分卸载与动态 SM 划分，在 SLO 约束下显著提升 goodput
📌 工作参考价值（4 点）
- 把轻量前置阶段作为控制点：参考 EAServe 将 Encode 作为 EPD 流水线控制点的思路，在推荐系统中将图像/视频 embedding、特征编码等轻量前置阶段与主模型解耦，通过速率控制动态调节下游请求流，避免下游 Prefill/Decode 饥饿。
- 动态 SM 划分实现可预测共置：当需要把多个阶段部署在同一 GPU 上时，采用动态 SM partitioning 保证各阶段的算力隔离与可预测性能，适合广告/推荐系统中多个小模型或 embedding 服务共置的场景。
- 配置自动搜索减少人工调参：借鉴 HAS 的两阶段方法——先用 per-stage capacity profiling 剪枝明显不均衡的配置，再用 TPE 贝叶斯优化精细搜索，可自动化调优推荐系统多阶段推理 pipeline 的 batch size、worker 分配等参数。
- SLO 约束下的 goodput 优化：直接关注在尾延迟 SLO 下最大化吞吐，这对电商/广告在线推理服务更具业务价值，而非单纯追求平均延迟或吞吐。
基于预训练信念表示的高效自适应数据获取
🧭 预训练信念驱动的自适应数据获取策略
ELLIS Institute Finland · Department of Computer Science, Aalto University, Finland · Department of Computer Science, University of Helsinki, Finland · Department of Computer Science, University of Manchester, UK · Department of Statistics, University of Oxford, UK
提出POLAR，用预训练模型编码信念状态以解耦表示与策略学习，统一高效地解决贝叶斯实验设计、优化与主动学习
📌 工作参考价值（4 点）
- 在在线推荐、广告搜索中，可将预训练的用户行为序列模型（如Transformers）作为信念状态编码器，仅微调轻量策略头用于bandit/RL决策，避免从零训练。
- 自动化A/B测试或超参数调优时，可用POLAR实现样本高效的贝叶斯优化，大幅减少实验成本。
- 主动学习选择标注样本：利用预训练的语境表示作为信念状态，训练策略头快速适应新任务，所需查询数显著减少。
- 工程上，解耦表示与策略允许复用预训练表征，只需更新策略头，方便增量部署与策略迭代。
KVServe：面向通信效率的拆解式LLM服务中服务感知KV缓存压缩
🧭 LLM推理优化 · KV缓存压缩 · 拆解式服务
University of Chinese Academy of Sciences · Institute of Computing Technology, Chinese Academy of Sciences · Shanghai Jiao Tong University
首个服务感知的自适应KV缓存压缩框架，通过贝叶斯搜索与在线控制实现动态策略选择，显著降低拆解式推理的通信延迟。
📌 工作参考价值（4 点）
- 电商/推荐系统若采用PD分离或KV拆解的LLM推理，可借鉴KVServe的“离线Pareto候选生成+在线bandit选择”模式，用轻量控制器动态匹配请求的时延/吞吐/质量约束，避免静态配置导致SLO违规。
- 自适应压缩思想可迁移到生成式推荐中的Embedding或特征传输压缩：根据网带宽、查询复杂度和延迟预算等上下文，动态切换量化/稀疏化/选择策略，而非固定一种压缩方法。
- 贝叶斯Profiling Engine通过全局探索+局部细搜+3D Pareto剪枝的方式大幅降低搜索开销（50×），在推荐系统的超参或策略组合爆炸场景中，可用于快速生成高质量候选配置集。
- 在线控制中的“分析模型+bandit”机制可迁移到Agent多智体通信优化：为Agent间的消息大小、压缩等级建立延迟预测模型，结合多臂老虎机上探索，在满足延迟目标下最大化通信效率。